Sau khi từ Côn Lôn trở về Vinh sinh sống, ông lập gia đình với bà Anna Bùi Thị Tám (1888-1980) người họ giáo Kẻ Tùng, xã Láng Ngạn, huyện La Sơn nay là xã Đức La, huyện Đức Thọ. Ông bà sinh con gái đầu lòng là Maria Mai Thị Nhung vào năm 1930, (về sau bà Nhung về sống ở xã Bình Ba, huyện Châu Đức, tỉnh Bà Rịa Vũng Tàu). Năm 1935, ông bà sinh thêm một người con trai là Baotixita Mai Văn Du, nhưng mất sớm khi mới 5 tuổi. Ông bà còn có người con nuôi họ Nguyễn quê ở Thổ Hoàng huyện Hương Khê, lấy tên họ mới là Mai Văn Dư.[8]